Liao Jiayi 2019/04/12 #Spark#Apache Spark

实际业务中，我们通常会以时间作为分区来建立Hive表，然后在SparkSQL中以动态分区的形式插入，发现一个优化空间。

Liao Jiayi 2019/02/12 #JVM#Spark#Apache Spark

最近在stackoverflow上看到有人好奇Spark是在什么时机对Accumulator或者Broadcast这样的变量进行回收的。自己在看源码的时候发现了这个有趣的地方。本文描述了在Spark ContextCleaner中利用WeakReference和referenceQueue来清理无效对象的机制和原理。